检查你的设备是否能运行不同规模的 DeepSeek 模型
显存 ≈ 参数量 × 精度位数(Bytes)+ 激活值占用
例:7B FP16 模型 ≈ 7B × 2 Bytes = 14 GB(未含激活值)
实际部署需预留 20% 冗余(如 7B FP16 建议 18GB+ 显存)
内存需加载模型权重(约等于显存)及运行时数据,建议为显存的 1.5 倍
8-bit 量化显存占用减半,4-bit 再减半,但可能损失 1-3% 精度
Ollama 默认使用 4-bit 量化模型,显存占用约为 FP16 的 1/4
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b